训练具备潜在内在反馈的用户仿真器
🧭 用户仿真器 · 内禀奖励多轮RL ★ 深度解读
Google Research · Georgia Institute of Technology
提出带潜在评估状态的用户仿真器，同时生成用户话术与逐轮评分，用于多轮RL训练助手并省一半以上算力
📌 工作参考价值（4 点）
- 在导购/客服 Agent 做离线 RL 时，可把用户模拟器输出结构化为「下一轮用户消息 + <eval> rating/feedback」，用 rating 直接当逐轮 reward，省掉外部 LLM-as-judge。文中 RL 计算量从 5.48e19 降到 2.45e19 FLOPs，约省 55%，且满意度不降反升（41.44% vs 41.08%）。
- 用真实聊天日志构造 simulator：用大模型对历史会话补标 latent eval 和 intent，再 SFT 小模型，比直接 prompt 大模型 roleplay 更真实、评分更接近真人。适合在电商客服/导购数据上复制，得到可控制、可复用的仿真环境。
- intent 条件化值得做：把用户高层意图作为 system prompt，提升反馈行为可控性，便于按场景（如“找一款送父母的蓝牙耳机”“售后问询”）生成特定仿真任务。
- 若只需要低成本 reward，可简化 LES 只保留 Rating；代价是文本 realism 下降。想要更真实话术，需加入 Internal_Thought/Feedback 等语言型子状态。另外注意反应类不平衡：WildChat 中 Praise 仅占 1.26%，Critique 约 14.15%，训练 reward 或分类时可能需要重采样。
训练混合：将小规模脚手架预训练运行重组为更大语言模型
🧭 模块化 LLM 预训练 · 脚手架重组 ★ 深度解读
Google, Mountain View, CA, USA · School of Computing, Dublin City University, Dublin, Ireland
提出 MoT：在冻结对齐器脚手架中独立训练 Transformer 深度块并重组，验证模块化预训练可行性
📌 工作参考价值（4 点）
- 模块化底座与多域迁移：若做电商/广告/搜索的多域 LLM 底座，可把不同领域的深度 block 独立训练再重组，避免每次全量重训；复用 off-the-shelf aligner 作为稳定表示接口，重组后加少量 end-to-end adaptation 回补接口错配。但要把 aligner 成本按复用次数摊销，R≥3 才有净收益。
- 数据流设计 trick：aligner 存在时，给各子模型上 disjoint data streams 能改善冷组合 PPL（19.3 vs 20.3），没有 aligner 反而恶化；说明在表示接口稳定后，更广 token 覆盖对模块化重组有帮助，可直接用于多 worker 独立训练的数据划分策略。
- 工程核算与调度：把训练成本拆成 train EF / full-charge EF / amortized EF，并估算 layer-equivalent critical path，有助于在做出“模块化训练更省”的结论前避免被 aligner 一次性成本误导；Stage 1 各 scaffold 可并行、故障可局部恢复，适合小规模科研迭代或需要隔离故障的长训练任务。
- 风险与局限：当前仅验证 PPL，未测 downstream reasoning/校准/鲁棒性；在竞价广告/推荐排序这类对业务指标敏感的场景，不能假设模块化预训练模型可直接替换 monolithic，需要补做 SFT/RLHF 或在线 A/B 评估。